与“北京”的情况类似，在东汉以前，“南京”与“南都”的行政称号并没有出现在历史长河之中。虽然西周曾经设置了宗周与成周、新莽则开始了东西都设置，但东汉以前始终没有设置一个与东、西京并列的南京、北京。这是由于周秦西汉时期中国主要还是以长安——洛阳为轴心，整个北方分作关西与关东两部分所致，只需要西京、东京来分别镇抚关西、关东即可。

东汉延续了王莽新朝的政策，继续以长安为西京、以洛阳（当时改写为雒阳）为东京，另外，由于刘秀一支宗族在西汉中后期便定居南阳，南阳也便被视为东汉帝乡，为了优待在南阳地区的官民，东汉便以帝乡南阳为“南都”，也被称作“南京”，因此，东汉时期的南阳便是中国历史上的第一座“南京”城，比曹魏建国后的第一座“北京”城出现得早。

曹魏建国后实行“五都制”，以洛阳为中都，以邺、谯、许昌、长安为陪都，许昌在洛阳的南方，所以便成了“南京”。许昌本来只是兖州颍川郡辖下的“许县”，因为曹操把汉献帝安置到了这里，所以改名为“许都”，曹丕代汉以后方才改名为许昌。由于许昌是曹操当年控制汉献帝的城邑，不仅在名义上是汉帝国的最后一个都城，而且在实力上也拥有一定规模的驻防武装，所以曹丕便在建立曹魏王朝后，以许昌为曹魏南京，与霸都邺城、帝乡谯郡、西京长安、首都洛阳并列。

西晋灭亡后，趁乱而起的前后两赵，经过一番东西对峙，最终由后赵统一北方。统一北方的后赵，以襄国（河北邢台）为首都，并先后在长安设置了西京，在洛阳设置了南都，一方面是为了宣示自身继承汉魏晋统绪的正当性，一方面也是为了强化长安、洛阳的政治地位，以便镇抚关中、河洛两地。

后赵政权灭亡后，北方地区被前秦所统一，其后有两个割据政权设置了“南京”（南都），分别是盘踞河套平原与鄂尔多斯高原的胡夏政权与盘踞雁北地区的代政权。

胡夏是赫连勃勃建立的政权，起初以统万城（陕西省横山县白城子村）为都，后来赫连勃勃趁着刘裕北伐军主力回撤南方及留守部队内讧的机会，夺取了关中地区（公元418年），而后赫连勃勃为了保持对关中地区的统治，便以长安为“南京”（“南台”），以统万城为“北京”。

代国是拓跋猗卢在桑干河平原与敕勒川建立的政权，代国政权从公元313年开始，以盛乐城（内蒙古和林格尔县）为北都，以平城（山西省大同市）为南都，实行了小半个世纪的“两都制”。

此后的数个政权均偏安一隅，没有条件实行“多都制”，“南京”之名也就消失了很长一段时间。